Papers

Linguistically Regularized LSTMs for Sentiment Classification

Abstract

本文主要目的是为了产生linguistically coherent representations，其中使用了sentiment lexicons, negation words, 和intensity words。

Introduction

让计算机能够理解情感一直是AI的核心任务，有许多方法来实现，比如lexicon-based classification以及早期的machine learning based methods，最新的还有CNN，recursive autoencoders和LSTM。

  • 树形结构的模型，例如recursive autoencoder和Tree-LSTM都是需要短语级的标注语料信息，如果只使用句子级的标注信息的话，它们的性能将会大大下降。
  • 序列模型，例如CNN和RNN难以产生在论文中记载的很好的效果。
  • 很多的语言学知识没有应用到神经网络模型中。

这个工作的目标是设计一个简单的序列模型，然后使用语言学资源来帮助情感分类。

  • 不用树形结构的模型，避免人工标注短语级语料
  • 使用三种语言学信息：sentiment lexicon,negation words,intensity words。
  • Neural Networks for Sentiment Classification
  • Applying Linguistic Knowledge for Sentiment Classification

否定词在修改文本情感中扮演关键角色。因为每个单独的否定词会影响情感词，shifting hypothesis被提出来，假定否定动作对情感值的影响是一个常量。

intensity words可以改变情感的强度。这对于fine-grained的情感分析是很有用的。

Models

  • Long Short-Term Memory(LSTM)
  • Bidirectional LSTM

Linguistically Regularized LSTM

当遇到情感词之后，句子的情感应该跟遇到之前有很大的不同。比如this movie is interesting，从左往右走this*，this movie*和this moive is*应该是几乎一样的，而this movie is very interesting*应该和前面几个完全不同（*代表当前的位置）。因为interesting已经被看到了。

  • Non-Sentiment Regularizer如果两个相邻的词是non-opinion的词，那么两个情感分布应该是尽可能相近的。
  • Sentiment Regularizer如果词是情感词，那么情感分布应该和前后位置的情感分布不同
  • Negation Regularizer碰到否定词会让情感飘逸。
  • Intensity Regularizer遇到intensity让情感加深。

Modified Loss function


$E(\theta)=-\sum_i y^i log p^i + \alpha \sum_i \sum_j L_t^i + \beta ||\theta||^2$

在Sentiment Regularizer中，所有的同一类型的情感词共用drifting distribution。这里也可以根据大规模的训练集来学习不同的词的情感漂移。

分享到